Understanding objects is a central building block of artificial intelligence, especially for embodied AI. Even though object recognition excels with deep learning, current machines still struggle to learn higher-level knowledge, e.g., what attributes an object has, and what can we do with an object. In this work, we propose a challenging Object Concept Learning (OCL) task to push the envelope of object understanding. It requires machines to reason out object affordances and simultaneously give the reason: what attributes make an object possesses these affordances. To support OCL, we build a densely annotated knowledge base including extensive labels for three levels of object concept (category, attribute, affordance), and the causal relations of three levels. By analyzing the causal structure of OCL, we present a baseline, Object Concept Reasoning Network (OCRN). It leverages causal intervention and concept instantiation to infer the three levels following their causal relations. In experiments, OCRN effectively infers the object knowledge while following the causalities well. Our data and code are available at https://mvig-rhos.com/ocl.
translated by 谷歌翻译
实体对齐(EA)的目的是在不同的知识图(kgs)中找到指代现实世界中同一对象的实体。最近的研究结合了时间信息,以增强KGS的表示。暂时KGS(TKG)之间的EA的现有方法利用时间感知的注意机制将关系和时间信息纳入实体嵌入中。该方法通过使用时间信息优于先前的方法。但是,我们认为,由于大多数TKG具有统一的时间表示,因此不必学习kgs中的时间信息的嵌入。因此,我们提出了一个简单的图形神经网络(GNN)模型,并结合了时间信息匹配机制,该模型以更少的时间和更少的参数实现了更好的性能。此外,由于对齐种子很难在现实世界应用中标记,因此我们还提出了一种通过TKG的时间信息生成无监督比对种子的方法。公共数据集的广泛实验表明,我们的监督方法显着优于先前的方法,而无监督的方法具有竞争性能。
translated by 谷歌翻译
语义本地化(SELO)是指使用语义信息(例如文本)在大规模遥感(RS)图像中获得最相关位置的任务。作为基于跨模式检索的新兴任务,Selo仅使用字幕级注释来实现语义级检索,这表明了其在统一下游任务方面的巨大潜力。尽管Selo已连续执行,但目前没有系统地探索并分析了这一紧急方向。在本文中,我们彻底研究了这一领域,并根据指标和测试数据提供了完整的基准,以推进SELO任务。首先,基于此任务的特征,我们提出了多个判别评估指标来量化SELO任务的性能。设计的显着面积比例,注意力转移距离和离散的注意距离可用于评估从像素级别和区域级别中产生的SELO图。接下来,为了为SELO任务提供标准评估数据,我们为多样化的,多语义的,多目标语义定位测试集(AIR-SLT)贡献。 AIR-SLT由22个大型RS图像和59个具有不同语义的测试用例组成,旨在为检索模型提供全面的评估。最后,我们详细分析了RS跨模式检索模型的SELO性能,探索不同变量对此任务的影响,并为SELO任务提供了完整的基准测试。我们还建立了一个新的范式来引用RS表达理解,并通过将其与检测和道路提取等任务相结合,证明了Selo在语义中的巨大优势。拟议的评估指标,语义本地化测试集和相应的脚本已在github.com/xiaoyuan1996/semanticlocalizationmetrics上访问。
translated by 谷歌翻译
在本文中,我们考虑了基于系数的正则分布回归,该回归旨在从概率措施中回归到复制的内核希尔伯特空间(RKHS)的实现响应(RKHS),该响应将正则化放在系数上,而内核被假定为无限期的。 。该算法涉及两个采样阶段,第一阶段样本由分布组成,第二阶段样品是从这些分布中获得的。全面研究了回归函数的不同规律性范围内算法的渐近行为,并通过整体操作员技术得出学习率。我们在某些温和条件下获得最佳速率,这与单级采样的最小最佳速率相匹配。与文献中分布回归的内核方法相比,所考虑的算法不需要内核是对称的和阳性的半明确仪,因此为设计不确定的内核方法提供了一个简单的范式,从而丰富了分布回归的主题。据我们所知,这是使用不确定核进行分配回归的第一个结果,我们的算法可以改善饱和效果。
translated by 谷歌翻译
本文回顾了AIM 2022上压缩图像和视频超级分辨率的挑战。这项挑战包括两条曲目。轨道1的目标是压缩图像的超分辨率,轨迹〜2靶向压缩视频的超分辨率。在轨道1中,我们使用流行的数据集DIV2K作为培训,验证和测试集。在轨道2中,我们提出了LDV 3.0数据集,其中包含365个视频,包括LDV 2.0数据集(335个视频)和30个其他视频。在这一挑战中,有12支球队和2支球队分别提交了赛道1和赛道2的最终结果。所提出的方法和解决方案衡量了压缩图像和视频上超分辨率的最先进。提出的LDV 3.0数据集可在https://github.com/renyang-home/ldv_dataset上找到。此挑战的首页是在https://github.com/renyang-home/aim22_compresssr。
translated by 谷歌翻译
点云的几乎没有分割仍然是一项具有挑战性的任务,因为没有有效的方法将局部点云信息转换为全局表示,这阻碍了点特征的概括能力。在这项研究中,我们提出了双向特征全球化(BFG)方法,该方法利用点特征和原型向量之间的相似性测量,以双向方式将全球感知嵌入到局部点特征中。随着点对点型全球化(PO2PRG),BFG根据从密度点特征到稀疏原型的相似权重将本地点特征汇总到原型。使用原型到点全球化(PR2POG),基于从稀疏原型到密集点特征的相似性权重,全局感知嵌入到局部点特征中。每个类嵌入全局感知的类的稀疏原型汇总到基于度量学习框架的几个原型3D分割的单个原型。对S3DIS和SCANNET的广泛实验表明,BFG显着超过了最新方法。
translated by 谷歌翻译
背景:在美国的电子健康记录(EHR)的日益越来越多的采用创造了可计算数据的Trovers,已经应用了机器学习方法来提取有用的见解。表示为矩阵(张量)的三维类似物的EHR数据被分解成可以被解释为计算表型的二维因子。方法:我们将受限的张量分解施加到2015年至2015年西北医学企业数据仓库中患有乳腺,前列腺,结直肠癌或肺癌患者群组中的增殖和预测死亡率。在我们的实验中,我们使用监督期检查在分解算法中,通过医学指示过滤张量相同,并在分解过程中纳入额外的健康(SDOH)协变量的社会决定因素。我们定性地评估了所产生的计算表型,并通过评估它们在曲线(AUC)统计下的区域预测五年死亡率的能力。结果:医疗指示过滤导致更简洁和可解释的表型。死亡预测性能(AUC)在不同的实验条件下变化,癌症类型(乳腺:0.623-0.694,前列腺:0.603 - 0.750,结直肠:0.523-0.641和Lung:0.517 - 0.623)。通常,利用监督期的使用和SDOH协变量的结合改善了预测性能。结论:约束张量分解,适用于癌症患者的稀疏EHR数据,可以发现预测五年死亡率的计算表型。将SDOH变量的结合到分解算法是一种易于实现和有效的方法来提高预测性能。
translated by 谷歌翻译
Systemic Lupus红斑(SLE)是一种罕见的自身免疫疾病,其特征是令人无法预测的耀斑和缓解的速度,具有不同的表现形式。狼疮性肾炎,SLE用于器官损伤和死亡率的主要疾病表现之一,是卢布斯分类标准的关键组成部分。因此,准确地鉴定电子健康记录(EHRS)中的狼疮性肾炎将使大型队列观察研究和临床试验有益于患者人口的表征对于招聘,研究设计和分析至关重要。可以通过程序代码和结构化数据来认可狼疮肾炎,例如实验室测试。然而,记录狼疮肾炎的其他关键信息,例如来自肾脏活检和先前的医学史叙事的组织学报告,需要复杂的文本处理,以从病理报告和临床笔记中挖掘信息。在这项研究中,我们开发了使用EHR数据识别鉴定狼疮肾炎的血管肾炎,而不使用自然语言处理(NLP)。我们开发了四种算法:仅使用结构化数据(基线算法)和使用不同NLP模型的三种算法的规则的算法。这三种NLP模型基于正则化逻辑回归,并使用不同的特征集,包括积极提及概念独特标识符(Cue),耐备的外观数量,以及三个部件的混合物。基线算法和最佳执行的NLP算法在Vanderbilt University Center(VUMC)的数据集上验证了外部验证。我们最佳地执行来自结构化数据,正则表达式概念和映射的特征的NLP模型,与基线狼疮性肾炎算法相比,在NMEDW(0.41 VS 0.79)和VUMC(0.62 VS 0.96)数据集中有所改善。
translated by 谷歌翻译
实验室检测和药物处方是日常临床实践中最重要的两种惯例。开发一种人工智能系统,可以自动制造实验室测试借助和药物建议可以节省潜在的冗余实验室测试,并告知医生更有效的处方。我们展示了一个智能医疗系统(名为Medgcn),可以根据其不完整的实验室测试自动推荐患者的药物,甚至可以准确估计未被采取的实验室值。在我们的系统中,我们将多种类型的医疗实体之间的复杂关系与其在异构图中的固有功能集成。然后,我们模拟图表以了解基于图形卷积网络(GCN)图表中的每个实体的分布式表示。通过图形卷积网络的传播,实体表示可以包含多种类型的医疗信息,可以使多种医疗任务受益。此外,我们介绍了交叉正则化策略,以减少多任务之间的交互的多任务培训过度装备。在本研究中,我们构建一个图形,以将4种类型的医疗实体,即患者,遇到,实验室测试和药物相关联,并应用图形神经网络来学习用于药物推荐和实验室测试贷款的节点嵌入。我们在两个现实世界数据集上验证了我们的Medgcn模型:nmedw和mimic-III。两个数据集的实验结果表明,我们的模型可以在两个任务中表现出最先进的。我们认为,我们的创新系统可以提供有希望和可靠的方法来帮助医生制作药物处置处方,并节省潜在的冗余实验室测试。
translated by 谷歌翻译
Text classification is an important and classical problem in natural language processing. There have been a number of studies that applied convolutional neural networks (convolution on regular grid, e.g., sequence) to classification. However, only a limited number of studies have explored the more flexible graph convolutional neural networks (convolution on non-grid, e.g., arbitrary graph) for the task. In this work, we propose to use graph convolutional networks for text classification. We build a single text graph for a corpus based on word co-occurrence and document word relations, then learn a Text Graph Convolutional Network (Text GCN) for the corpus. Our Text GCN is initialized with one-hot representation for word and document, it then jointly learns the embeddings for both words and documents, as supervised by the known class labels for documents. Our experimental results on multiple benchmark datasets demonstrate that a vanilla Text GCN without any external word embeddings or knowledge outperforms state-of-the-art methods for text classification. On the other hand, Text GCN also learns predictive word and document embeddings. In addition, experimental results show that the improvement of Text GCN over state-of-the-art comparison methods become more prominent as we lower the percentage of training data, suggesting the robustness of Text GCN to less training data in text classification.
translated by 谷歌翻译